Dans le domaine de l'intelligence artificielle, l'équipe DeepSeek a récemment publié ses derniers résultats de recherche, présentant un mécanisme d'attention clairsemé innovant appelé NSA (Native Sparse Attention). L'objectif principal de cette technologie est d'améliorer la vitesse d'entraînement et d'inférence à long contexte, en particulier en étant optimisée pour le matériel moderne, ce qui permet une amélioration significative de l'efficacité de l'entraînement et de l'inférence. Le lancement de la technologie NSA a apporté des changements notables à l'entraînement des modèles d'intelligence artificielle. Tout d'abord, elle utilise une série de techniques ciblant le matériel informatique moderne

Nous Research, un institut de recherche en intelligence artificielle, a récemment lancé le chatbot Nous Chat, qui permet d'accéder à son grand modèle linguistique Hermes3-70B. Nous Chat offre une interface familière similaire à ChatGPT, permettant aux utilisateurs d'interagir avec le modèle sans avoir à exécuter de code eux-mêmes. Le chatbot Nous Chat possède des fonctionnalités telles que la mémoire à long contexte, le dialogue multi-tours, des jeux de rôle complexes et l'auto-réflexion. Actuellement, Nous Rese...

Récemment, les modèles linguistiques de grande taille (LLM) dotés de fenêtres de contexte ultra-longues sont devenus un sujet de discussion populaire. Ces modèles peuvent traiter des dizaines de milliers, voire des millions de jetons dans une seule invite, ouvrant de nouvelles possibilités aux développeurs. Cependant, dans quelle mesure ces LLM à long contexte comprennent et utilisent-ils réellement les grandes quantités d'informations qu'ils reçoivent ? Pour répondre à cette question, les chercheurs de Google DeepMind ont lancé une nouvelle référence appelée Michelangelo, conçue pour évaluer les capacités de raisonnement dans de longs contextes. Les résultats de la recherche montrent que...